Self-Retrospection Distillation: Turning Post-hoc Experiences into Prior Foresight
自回溯蒸馏：把事后经验转为事前前瞻
🧭 RLVR 辅助损失 · 事后到事前蒸馏 ★ 深度解读
Salesforce AI Research · UC San Diego · Texas A&M University · Stanford University
用事后交互轨迹蒸馏出交互前可预测的知识/失败模式，让每条 rollout 均贡献监督，最高提升 24.2 pp
📌 工作参考价值（4 点）
- 在强化学习训练电商导购/搜索 Agent 时，不要只依赖 scalar reward：把每个会话/交互轨迹的事后信息（成功所需知识、失败原因）作为监督，训练模型在交互前输出前瞻性描述。成功轨迹预测用户可能关心的知识点，失败轨迹预测易错点/陷阱；该输出仅作训练目标，推理时不生成，不增加线上成本。
- 对奖励稀疏或组内 reward 一致的场景（大量会话无转化、点击稀疏），GRPO 等 group-relative 方法会丢弃全失败/全成功的 rollout 组；SRD 这类逐轨迹事后监督不依赖组内 variance，能从失败样本中榨取价值。2B 模型在全失败组占 98% 时仍能达到 60.6% 成功率，说明可以复用线上大量负反馈会话做冷启动训练。
- 具体实现用 stopped-gradient 的同一模型当 teacher，输入额外包含 gold solution 或 error annotation，与 student 的前瞻 rollout 做 token 级 JSD 对齐；只选 pitfall 视角通常比 knowledge+pitfall 更稳定且计算更便宜，不要盲目堆多个辅助头。
- 纯 self-distillation 在工具交互任务上可能不稳定（9B OPSD 在 HotpotQA/2Wiki/LCB 低于 vanilla），引入前瞻蒸馏能稳定训练并恢复单调 scaling；在复合 RL+蒸馏目标（RLSD）中也可叠加，通常 +SRD 提升明显。